SparseEngine: Sparse-First Inference Engine
SparseEngine：稀疏优先的LLM推理引擎
🧭 稀疏注意力 · KV cache推理引擎 ★ 深度解读
Harbin Institute of Technology
通过统一生命周期契约支持15种稀疏注意力方法，并提供Chain Cache与可控前缀缓存剪枝，实现长上下文agent推理10倍吞吐提升
📌 工作参考价值（4 点）
- 生命周期 hook 抽象可借鉴到自研推理服务：将稀疏方法集成点解耦为 SparseController（注册回调）、CacheManager（方法特定状态存储）和 AttentionView（连接注意力后端），可以不改模型代码快速接入多种稀疏/压缩策略，适合电商 Agent 服务中灵活切换 KV 优化方案。
- Chain Cache 对多轮 Agent 场景非常实用：跨请求保留被 eviction 方法裁剪过的 KV 及元数据（如 H2O 累积分数），能避免每轮重新 prefill 完整历史，对电商客服、推荐 agent 等多轮交互可显著降低首字延迟和重复计算。
- 可控 prefix-cache pruning 允许业务方按价值管理上下文：应用可以指定历史区间（如低价值的工具输出）和保留比例，用稀疏策略（如 KVzip）选择保留位置，同时保持逻辑前缀匹配，适合在广告/推荐 agent 中清理过期或冗余的会话内容而不破坏缓存复用。
- 实验结论表明物理 KV 驱逐是吞吐提升的关键：在相同 GPU 内存下，SnapKV 物理驱逐可支撑约10倍更大 batch，带来约10倍 aggregate decode throughput；动态稀疏注意力在匹配并发下可获1.5-2.6倍 decode 吞吐提升，且质量几乎无损（LongBench 平均差异仅 +0.17 分），可作为电商长上下文 LLM 推理优化的直接依据。